“预测下一个token”被认为是大模型的基本范式，一次预测多个tokens又会怎样？
来自主题: AI技术研报
4799 点击 2024-05-03 22:03
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
“预测下一个token”被认为是大模型的基本范式，一次预测多个tokens又会怎样？
抛弃传统方法，只采用Transformer来解码真实场景！
这款产品会将现有的两个空间计算的产品线（Quest 3 和雷朋 Meta 智能眼镜）整合起来，形成AI+AR眼镜的新形态产品。
刚刚，Meta 宣布推出两个 24k GPU 集群（共 49152 个 H100），标志着 Meta 为人工智能的未来做出了一笔重大的投资。
如果说 OpenAI 已经占据了今天闭源大模型生态的一极，那 Meta 无疑是代表开源大模型的另一极。
在文本生成音频（或音乐）这个 AIGC 赛道，Meta 最近又有了新研究成果，而且开源了。前几日，在论文《Masked Audio Generation using a Single Non-Autoregressive Transformer》中，Meta FAIR 团队、Kyutai 和希伯来大学推出了 MAGNeT，一种在掩码生成序列建模方法。
把小扎从元宇宙大坑中拯救出来的，居然是开源AI！市值大涨的Meta，现在能让小扎一年分红7亿美元。股价图一出，LeCun都评论：有意思。
Meta 正式发布 Code Llama 70B，这是 Code Llama 系列有史以来最大、性能最好的型号。
2021年劈柴恭喜小扎FAIR在取得的突破时，小扎并不知道到底发生了什么，但快速的学习能力让他重新把Meta从泥潭中拉了出来。无心插柳的FAIR和开源AI让小扎打了一次漂亮的翻身仗。
今天，小扎正式宣战「开源AGI」！下一代大模型Llama 3正在训练，年底将拥有35万块H100，届时算力总和达60万块H100。为了追赶OpenAI，成立十年的FAIR团队纳入GenAI，全力奔赴AGI。